اتهمته أنه سم ابن أخيها وطلبت منه مائتي ألف دينار نفقة في مأتمه فلم يفعل والتجأ إلى بروجرد وهي من أعمال بدر بن حسنويه الكردي ثم بدا له في الرجوع إلى الوزارة فبذل مائتي ألف دينار ليعاد إلى وزارته لمجد الدولة فلم يجب إلى ذلك فلما مات احتوى ابنه أبو القاسم سعد على تركته وكانت عظيمة ومات بعده بشهور فاحتوى أبو بكر محمد بن عبد العزيز بن رافع على المال وورد تابوت أبي العباس إلى بغداد مع أحد حجابه وكتب ابنه إلى أبي بكر الخوارزمي شيخ أصحاب أبي حنيفة يعرفه أنه وصى بدفنه في مشهد الحسين بن علي رضي الله عنهما ويسأله القيام بأمره وابتياع تربة له فخاطب الشريف الطاهر أبا أحمد في ذلك وسأله أن يبيعهم تربة بخمسمائة دينار فقال هذا رجل التجأ إلى جوار جدي ولا آخذ لتربته ثمنا وكتب نفسه الموضع الذي طلب منه وأخرج التابوت إلى برانا وخرج